推文是在线社交媒体中最简洁的交流形式，其中一条推文有可能制作或打破对话的话语。在线仇恨言论比以往任何时候都更容易访问，并且扼杀其传播对于社交媒体公司和用户进行友好沟通至关重要。除了最近的一条推文分类，无论导致这一点的推文线程/上下文如何，大多数研究都集中在对单个推文进行分类。遏制仇恨言论的经典方法之一是在仇恨言论邮寄后采用反应性策略。事实上的事实策略导致忽略了微妙的帖子，这些帖子并未显示出自己激发仇恨言论的潜力，但可能会在随后在帖子的答复中随后的讨论中进行预言。在本文中，我们提出了Dragnet ++，该论文旨在预测推文可以通过其未来的回复链引入的仇恨强度。它使用推文线程的语义和传播结构来最大化导致每个后续推文的仇恨强度的上下文信息。我们探索了三个公开可用的Twitter数据集 - 反种族主义包含有关社交媒体讨论在美国政治和COVID-19的背景期间关于种族主义言论的回答推文；反社会介绍了一个关于反社会行为的19000万推文的数据集；和反亚洲介绍了基于19日大流行期间的反亚洲行为的Twitter数据集。所有策划的数据集都包含Tweet线程的结构图信息。我们表明，Dragnet ++的表现大大优于所有最先进的基线。它比人相关系数的最佳基线降低了11 \％的利润率，而反种族主义数据集则在RMSE上降低了25 \％，而其他两个数据集则具有相似的性能。
translated by 谷歌翻译
Tiktok是一个受欢迎的新社交媒体，用户通过短视频剪辑表达自己。平台上的常见互动形式参与了“挑战”，这是用户迭代的歌曲和舞蹈。挑战传染可以通过复制范围来衡量，即用户上传他们参与挑战的视频。 Tiktok平台的唯一性，其中挑战内容和用户偏好都在不断发展，需要挑战和用户表示的组合。本文通过预测用户的参与调查Tiktok挑战的社会传染。我们提出了一种新的深度学习模型，深度学习模型，学习和组合潜在的用户和挑战表格，以执行此用户挑战预测任务。我们从Fortoupage，App的登陆页面上的12个趋势挑战收集超过7,000个视频的数据集，从1303名用户提供超过10,000个视频。进行了广泛的实验，结果表明，我们所提出的Deepballenger（F1 = 0.494）在预测任务中优于基线（F1 = 0.188）。
translated by 谷歌翻译
近年来，文本的风格特性吸引了计算语言学研究人员。具体来说，研究人员研究了文本样式转移（TST）任务，该任务旨在在保留其样式独立内容的同时改变文本的风格属性。在过去的几年中，已经开发了许多新颖的TST算法，而该行业利用这些算法来实现令人兴奋的TST应用程序。由于这种共生，TST研究领域迅速发展。本文旨在对有关文本样式转移的最新研究工作进行全面审查。更具体地说，我们创建了一种分类法来组织TST模型，并提供有关最新技术状况的全面摘要。我们回顾了针对TST任务的现有评估方法，并进行了大规模的可重复性研究，我们在两个公开可用的数据集上实验基准了19个最先进的TST TST算法。最后，我们扩展了当前趋势，并就TST领域的新开发发展提供了新的观点。
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
尽管进行了数十年的研究，但现有的导航系统在野外部署时仍然面临现实世界中的挑战，例如在混乱的家庭环境或人类占领的公共场所中。为了解决这个问题，我们提出了一类新的隐式控制政策，将模仿学习的好处与模型预测控制（MPC）的系统约束的强大处理结合在一起。我们的方法称为Performer-MPC，使用了通过表演者提供的视觉上下文嵌入的学习成本函数（一种低级隐式意见变压器）。我们共同训练成本函数并构建依靠它的控制器，有效地端到端解决相应的双层优化问题。我们表明，由此产生的策略通过利用一些在不同挑战的现实世界情景中利用一些专家演示来提高标准MPC绩效。与标准的MPC政策相比，表演者MPC在混乱的环境中实现了40％的目标，而在人类浏览时，社交指标的目标> 65％。
translated by 谷歌翻译
从有限的资源中获得最大收益可以进步自然语言处理（NLP）研究和实践，同时保守资源。这些资源可能是数据，时间，存储或能源。NLP的最新工作从缩放率产生了有趣的结果。但是，仅使用比例来改善结果意味着资源消耗也会扩展。这种关系激发了对有效方法的研究，这些方法需要更少的资源才能获得相似的结果。这项调查涉及NLP效率的方法和发现，旨在指导该领域的新研究人员并激发新方法的发展。
translated by 谷歌翻译
机器学习模型容易对远离培训分布的投入进行错误的预测。这阻碍了他们在自动驾驶汽车和医疗保健等安全至关重要应用中的部署。从单个数据点的训练分布转移的检测引起了人们的注意。已经提出了许多用于分发（OOD）检测的技术。但是在许多应用中，机器学习模型的输入形成了时间序列。时间序列数据中的OOD检测技术要么不利用序列中的时间关系，要么不提供任何检测保证。我们建议将偏离分布式时间均衡力偏差作为在时间序列数据中进行OOD检测的保形异常检测框架中的不符合度量度。导致提议的检测器编码，并保证在时间序列数据中进行虚假检测。我们通过在自动驾驶中实现计算机视觉数据集的最新结果来说明编码的功效。我们还表明，通过在生理步态感觉数据集上执行实验，可以将CODIT用于非视觉数据集中的OOD检测。代码，数据和训练有素的模型可在https://github.com/kaustubhsridhar/time-series-ood上找到。
translated by 谷歌翻译
变压器模型最近已成为自然语言处理中的基础模型之一，作为副产品，最近对扩展这些模型具有重大的兴趣和投资。但是，这些大型变压器语言模型的培训和推理成本令人难以置信，因此需要更多的研究来识别更有效的变体。在这项工作中，我们通过用统计语言建模中的文献启发的变压器体系结构提出了一个简单而有效的修改，该架构是通过通过文本序列的离散潜在表示构建的n-grams来增强模型的。我们评估了我们的模型，关于C4数据集的语言建模的N-Strammer以及Superglue数据集的文本分类，并发现它的表现优于诸如变压器和底漆等几个强基线。我们为JAX中的可重复性目的开放源模型。
translated by 谷歌翻译
诸如深神经网络（DNN）之类的机器学习方法，尽管他们在不同域中取得了成功，但是众所周知，通常在训练分布之外的输入上具有高信心产生不正确的预测。在安全关键域中的DNN部署需要检测分配超出（OOD）数据，以便DNN可以避免对那些人进行预测。最近已经开发了许多方法，以便检测，但仍有改进余地。我们提出了新的方法IdeCode，利用了用于共形OOD检测的分销标准。它依赖于在电感共形异常检测框架中使用的新基础非符合性测量和新的聚合方法，从而保证了有界误报率。我们通过在图像和音频数据集上的实验中展示了IDecode的功效，获得了最先进的结果。我们还表明Idecode可以检测对抗性示例。
translated by 谷歌翻译
2021-12-06
数据增强是自然语言处理（NLP）模型的鲁棒性评估的重要组成部分，以及增强他们培训的数据的多样性。在本文中，我们呈现NL-Cogmenter，这是一种新的参与式Python的自然语言增强框架，它支持创建两个转换（对数据的修改）和过滤器（根据特定功能的数据拆分）。我们描述了框架和初始的117个变换和23个过滤器，用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构，Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用（\ url {https://github.com/gem-benchmark/nl-augmenter}）。
translated by 谷歌翻译